Tool Recommendation for Multi-Step Agents: Finding Every Tool a Task Needs
多步 Agent 工具推荐:检索任务所需的每一个工具
🧭 Agent 工具检索与推荐 · 成本优化 ★ 深度解读
Arcade.dev
部署的 Tool Recommendation 系统用固定三工具接口为多步 Agent 提供全目录 8200+ 工具,实现工具链完整性与端到端成本双赢
📌 工作参考价值(4 点)
- 固定接口 + 检索重排替代静态工具列表:当 agent 需要触达大量 API/工具/技能时,不要把所有 schema 塞进 context,而是暴露 SelectTools、UseTool、ListApps 等少数元工具,按需检索并执行;权限过滤放在 gateway 层,保证推荐结果符合用户 scope,可直接迁移到电商导购/客服 agent 管理商品查询、订单、优惠券等海量工具。
- 评估指标用 Completeness@K 而非 Recall@K:多步任务缺一个工具就失败,例如“查库存→比价→下单”三工具缺一不可;在内部工具检索 benchmark 上加入 Completeness 指标,能更好反映端到端成功率,而不是平均召回。
- 成本优化必须看实际账单(含 prompt cache)而非仅输入 token:输入 token 减少不代表账单同比例下降,因为缓存输入便宜得多;应明确 caching 规则、用美元账单对比,并识别静态列表与动态检索的盈亏平衡点(约 25-28 个工具,或搜索频率 >0.63 次/工具调用时静态列表更便宜)。
- 多步 agent 失败主因常是 agent 没发起搜索/任务拆解不清,而非排序错误:可在 prompt 中显式引导 agent 每个任务只搜索一次、一次搜索一个动作,并监控首次推荐覆盖率与未发起搜索占比,针对性迭代提示词。